วัดถ้ำเขาวงตั้งวัดเมื่อวันที่ 19 ธันวาคม พ.ศ. 2548[1] แต่เดิมชื่อ ธรรมสถานถ้ำเขาวง เริ่มต้นจากหลวงพ่อสนอง กตปุญโญ เจ้าอาวาสวัดสังฆทาน จังหวัดนนทบุรี ได้พาคณะพระภิกษุซึ่งเป็นศิษย์ยานุศิษย์เดินธุดงค์ผ่านมาพบเห็นสถานที่นี้ อันมีภูมิประเทศล้อมรอบด้วยภูเขา ด้านบนมีถ้ำหลายแห่ง ในหน้าฝนจะมีน้ำตกไหลให้ความร่มเย็นชุ่มชื่น จึงพักอยู่ 2–3 วัน แล้วก็ออกเดินทางต่อไป ต่อมาภายหลังหลวงพ่อบุญส่ง ปิยธมโมซึ่งเป็นลูกศิษย์หลวงพ่อสนอง กตปุญโญ ได้พาหมู่คณะพระภิกษุเดินทางผ่านมาทางนี้อีกหลายหน จนเมื่อ พ.ศ. 2528 หลวงพ่อบุญส่ง ปิยธมโมจึงได้ขออนุญาตติหลวงพ่อสนอง กตปุญโญ เพื่อพัฒนาเป็นสถานปฏิบัติธรรม ในระยะแรกกกุฏกิเป็นเพียงถ้ำ มีกระต๊อบมุงหญ้าคา ที่ชาวบ้านมาช่วยสร้างถวาย 2–3 หลัง จนเมื่อประมาณ พ.ศ. 2530 ลวงพ่อท่านคิดว่าการจำพรรษาอยู่ด้านบนเป็นการลำบากมาก จึงคิดย้ายสำนักมาอยู่ข้างล่าง ประจวบกับมีนายทง เลขยัน หรือโยมถุง มีจิตศรัทธาถวายที่ดินให้จำนวนหนึ่ง จากนั้นจึงได้สร้างกุฏิศาลาที่พัก[2]

ประมาณ พ.ศ. 2536–2537 ท่านเริ่มทำการปลูกสร้างศาลาทรงไทยเอนกประสงค์ขึ้นเพื่อเชิดชูสถาปัตยกรรมไทย จึงชักชวนญาติโยมหาทุนทรัพย์มาทำการก่อสร้าง แต่เมื่อเศรษฐกิจไม่ดี การพัฒนาจึงล่าช้าลงกับทั้งวัสดุสิ่งของมีราคาเพิ่มขึ้น ท่านจึงคิดที่จะนำวัตถุดิบจากธรรมชาติที่มีอยู่นำมาประยุกต์ใช้ให้เกิดประโยชน์ เช่นตอไม้รากไม้ ไม้แกนร่อนที่ถูกไฟไหม้ นำมาสร้างเป็นเสนาสนะต่าง ๆ